VerifierBench: Benchmarking the Generation of Executable Verifiers for LLM Agents
VerifierBench：评测LLM Agent可执行验证器生成的基准
🧭 Agent 验证器生成评测与审计
University of Pennsylvania · University of Illinois at Urbana-Champaign · University of California, Berkeley · New York University · University of Rochester
构建VerifierBench与V4V审计，揭示LLM生成的验证器普遍过严，多数假拒源于不接受任何有效解
📌 工作参考价值（4 点）
- 在自生式训练数据过滤或 RL reward 场景下，别只看“拒绝无效样本”的准确率：VerifierBench 显示模型很容易生成过严验证器，看似强实则大量误拒有效解。上线前应显式统计 balanced accuracy，并专门补充 alternative valid solutions 来暴露假拒绝。
- 生成可执行验证器时，自测集不能只用与生成器同分布的负样本/正样本；要加入格式变体、工具调用顺序变体、等价代码改动等，因为案例表明验证器常写入无关的格式、工具或代码假设。
- 可借鉴 V4V 的六项审计思想：在 pipeline 中对验证器自动做 checklist——是否至少有一个已知正确解通过？是否对多个允许解不误拒？是否只依据任务指令而非隐含假设？
- 如果把 LLM 当作文本/策略评判器（例如筛选广告文案、推荐理由），需注意“拒绝负例强、接受正例弱”可能反映模型保守；可通过阈值校准或多验证器投票降低过度严格带来的数据丢弃风险。